Khúc côn cầu trên cỏ bị loại khỏi Thế vận hội Mùa hè tại kỳ đại hội Paris năm 1924 vì thiếu một cơ quan quản lý thể thao quốc tế. Liên đoàn khúc côn cầu quốc tế (FIH, Fédération Internationale de Hockey) được thành lập tại Paris năm đó nhằm đáp trả việc loại bỏ khúc côn cầu khỏi danh sách các môn thi đấu. Khúc côn cầu trên cỏ nam sau đó trở thành môn thể thao thường trực kể từ Thế vận hội tiếp theo, năm 1928 tại Amsterdam.

Trong một thời gian dài, Ấn Độ chiếm ưu thế tại Thế vận hội khi giành huy chương vàng của nam tại bảy trong số tám kỳ Thế vận hội từ năm 1928 đến năm 1964. Sau đó, Pakistan cũng thể hiện ưu thế khi giành 3 huy chương vàng và 3 huy chương bạc từ năm 1956 tới 1984.

Kể từ năm 1968, nhiều đội tuyển khác nhau trên khắp thế giới đã giành về tấm huy chương vàng Thế vận hội. Kể từ năm 1968, một số quốc gia ở Nam bán cầu đã giành được nhiều huy chương khác nhau trong môn khúc côn cầu trên cỏ nam và nữ, bao gồm Úc, New Zealand, Argentina, và Zimbabwe. Một nhóm các đội tuyển hàng đầu tới từ Bắc bán cầu có thể kể tới như Hà Lan và Đức.

Tây Ban Nha là đội xuất hiện trong nhiều giải đấu nam Thế vận hội nhất mà không giành được huy chương vàng của nam nào, và chỉ ba lần giành huy chương bạc vào các năm 1980, 1996, 2008 và một huy chương đồng vào năm 1960. Úc đã trải qua 11 kỳ Thế vận hội không giành được tấm huy chương vàng nào trước khi lần đầu đạt được thành tích này vào năm 2004.

Giải đấu khúc côn cầu trên cỏ nữ Thế vận hội đầu tiên được tổ chức vào năm 1980 ở Moskva. Môn khúc côn cầu Thế vận hội lần đầu tiên diễn ra trên sân nhân tạo từ Thế vận hội Montréal 1976.

Trước năm 1988 các đội tham gia giải hoàn toàn là được ban tổ chức mời. FIH bắt đầu tổ một hệ thống vòng loại kể từ giải đấu năm 1992.